Skarregaards historie går langt tilbage. Overalt på gården kan man finde flinteredskaber fra ældre og yngre stenalder. Der findes flere gravhøje fra bronzealderen, og der er fundet kværnsten fra jernalderen.

Sidst i vikingetiden blev den ældste Skarregaard anlagt lidt nordvest for den nuværende gård. I et udgravningsfelt i hjørnet af fårefolden er omridset og stolpehullerne af et hus fra den første gård markeret. Omkring år 1100, (tidlig middelalder) blev der bygget en borg, “Skarreborg”, på toppen af Krogsbjerg, og neden for borgbakken blev der anlagt en lille garnisonsby eller gård. I 1406 nævnes Skarregaard første gang som en sædegård, og op gennem tiden har gården været ejet af forskellige danske adelsfamilier.

Den sidste adelsmand var Sigvard Brockenhus til Ullerup. Et synligt minde om familierne på Skarregaard er bl.a. dørene til et par kirkestole i Sejerslev Kirke samt prædikestolen i Sønder Dråby Kirke, som bærer indskriften: “Anno 1597 lod fru Maren Lykke til Skarregaard denne prædikestol opsætte”.

I 1687 lod Christian V Skarregaard udlægge som ryttergods. Gårdens afgifter skulle, sammen med andre ryttergårdes, gå til opretholdelse af et nordjysk rytterregiment. I 1716 blev ryttergodset solgt til byfoged Rasmus Jørgensen i Nykøbing. Han lagde gården ind under Frøslevgaard. Rasmus Jørgensen kom i økonomiske vanskeligheder, og Skarregaard blev overtaget af en kreditor, Peder Worm fra Aalborg. I 1731 udstedte Peder Worm et fæstebrev på Skarregaard til Peder Christensen. Omkring 1738 kom Skarregaard under Nandrup Gods i Flade – som en almindelig fæstegård. I 1795 solgte Nautrups daværende ejer, F. V. Steenstrup, Skarregaard til godsejer Jens Stadel til Ullerup og Sø, som lagde Skarregaard ind under Sø Gods. Skarregaard var på det tidspunkt en rigtig “studegård”.

Omkring 1830 forsøgte Mads Pedersen at købe Skarregaard, men det mislykkedes. Han var bror til Anna Dorothea Pedersdatter, enke efter fæstebonde Jens Christensen (kaldet Jens Skarregaard). Mads Pedersen købte Tødsøgaard i 1833 i stedet for. På samme tidspunkt var der en ung mand i Thy, som hed Jørgen Christian Overgaard. Han var født i Hillerslev i 1804. Han drev sejlads på Limfjorden, og han havde hørt studehandlere snakke om Skarregaards fortræffeligheder. En februardag i 1833 sad Jørgen Overgaard og spiste på en kro i Thisted. Her hørte han et par ejendomshandlere tale om, at de ville købe Skarregaard en af de førstkommende dage. Den unge thybo fik travlt. I hast fik han et par fiskere til at sejle sig over fjorden til Skarreør, yderst på strandtangen. Herefter beså han Skarregaard og begav sig afsted til godsejeren på Ullerup. Det lykkedes for Jørgen Overgaard at lave en handel med Stadel på Ullerup. Skarregaard blev købt for 2200 Rbd i 1833. Skarregaard var på det tidspunkt placeret på strandengen, hvor tangen mellem de to søer i dag begynder. Samme år blev Jørgen gift med Karen Marie Christensdatter fra Lille Hillerslev. Hendes originale brudekiste findes stadig på Skarregaard.

Det var et stort arbejde, Jørgen Overgaard var gået ind til. Vesterhavet var i 1825 atter brudt igennem Agger Tange, så Limfjorden, der før var næsten brak, igen viste tænder, var mere salt og skabte stormfloder. Det lod han sig dog ikke gå på af, og han gravede et væld af grøfter, opførte stendiger og udførte omfattende forbedringer på gården. Som det første sted på Mors opførte Jørgen Overgaard et teglværk på gårdens grund. Man formoder, at teglovnen var placeret nordøst for gården på den vestre side af voldstedet Krogsbjerg. Disse teglsten var uden tvivl en kærkommen hjælp efter stormfloden i 1839, hvor Skarregaard blev så slemt skadet, at Jørgen Overgaard måtte flytte gården. Den 20. maj 1843 var gården helt genopbygget på bakken, hvor den ligger i dag.

Hovedindtægtskilden var de første mange år opdræt af stude. De gentagne oversvømmelser af strandengene gjorde, at denne ensidige fokusering på studeopdræt blev suppleret med malkekvæg, og i den forbindelse blev der opført et mindre gårdmejeri. Desuden var der et fårehold på 300-400 dyr, opdræt af gæs ved Skarresøerne og kornavl på de højtliggende marker. Studeopdræt sluttede i slutningen af 1960erne.

I 1873 solgte Jørgen Overgaard gården til sønnen Carl Christian Overgaard. Jørgen Overgaard og hustru flyttede til aflæggergården “Kraghøj”, hvor han residerede til sin død i 1876.

Et af Carl Christian Overgaards største projekter var opdyrkning af Skarregaards plantage på 50 tdr. land. Plantagen var i 1898 noget af det første skov på øen, som ellers havde været træløs i flere hundrede år. Carl Christian drev Skarregaard med stor flid, og i 1896 blev der bygget ny ko- og hestestald.

Carl Christian Overgaard blev i 1874 gift med Ane Helene Kortbæk fra Flade. De fik kun et barn, Jørgen Chr. Overgaard. Carl Christian blev enkemand i 1901, og sønnen overtog gården. I skødet kan man se, at Carl Christian forbeholdt sig ret til fri bopæl på Skarregaard resten af sin levetid, ligesom sønnen og svigerdatteren forpligtigede sig til at forsørge ham. Derfor blev der indrettet aftægtsbolig i den østlige ende af hestestalden. Han forbeholdt sig også ret til den gamle møddingsplads til havebrug og biavl, en beskæftigelse som han varetog indtil sin død i 1920.

Jørgen Chr. Overgaard, som overtog gården i 1901, blev gift med Mariane Søndergaard. De fik 10 børn, hvoraf kun 4 nåede at blive voksne. I 1904 byggede han en ny lade, og i 1910 satte møllebygger Heide fra Galtrup en klapsejler på. De fleste ting, som krævede maskinkraft, blev trukket af klapsejlermøllen – indtil 1954, hvor den blæste ned under en storm. Møllen blev aldrig sat op igen. I 1930 byggede Jørgen Chr. Overgaard det røde svinehus ud mod fjorden. Det skete under landbrugskrisen, så huset blev aldrig taget i brug til svin.

I 1951 blev den første traktor – en grå Ferguson – købt, og i den forbindelse blev det lille maskinhus bygget på laden på sydgavlen. Senere kom der en Volvo og en David Brown til.

Jørgen Chr. Overgaard aftjente værnepligten i livgarden, og han blev oppasser for den senere Kong Christian X. Det prægede ham gennem livet, og han var ofte foregangsmand med deltagelse i mange forskellige tillidshverv/poster.

I 1958 døde Jørgen Chr. Overgaard, og sønnen Carl Alfred Overgaard overtog Skarregaard. Carl drev Skarregaard sammen med to søstre, Anna og Karen. Han foretog ikke bygningsmæssige ændringer, og derfor fremstår gården i dag som en original 1950er gård. Carl drev gården med omhu i en tid, hvor mekaniseringen med traktorer og forskellige maskiner holdt sit indtog.

Som supplement brugte Carl en maskinstation, og der er mange, der har arbejdet på Skarregaard som “daglejere”.

I kaffepauserne, som blev holdt i folkestuen, blev kaffen serveret i den store Madam Blå-kaffekande. Der herskede stor respekt om Carl i lokalområdet, og folk, som mødte ham, huskede ham for hans måde at tale.

Carl Overgaard blev aldrig gift, og ved hans død i 1978 var der ingen arvinger. Derfor havde Carl testamenteret Skarregaard til Morsø Kommune.

Alle fire generationer af familien Overgaard på Skarregaard er begravet på Sejerslev kirkegård. Familiegravstedet findes lige vest for kirketårnet, og her kan alle gravsten med navne stadig ses.

Som tidligere skrevet var Carl ud af en børneflok på ti, hvor kun fire overlevede og blev voksne. Carls storesøster Anna blev kæreste med arbejdsmand Søren Steenstrup. Det fortælles, at en arbejdsmand ikke var velset på Skarregaard som svigersøn, og at svigerfaderen modarbejdede dette kæresteri. I 1923 blev Anna og Søren dog gift, og de fik sønnen Svend Overgaard Steenstrup. I mellemtiden havde Jørgen Overgaard bygget hus til dem i Sejerslev (Skranderupvej 1). Her flyttede de ind, men meget kort tid efter sønnens fødsel, rejste Søren Steenstrup til Amerika og vendte aldrig tilbage. Anna, som havde store psykiske problemer, flyttede tilbage til Skarregaard, og sønnen Svend voksede op hos bedsteforældrene Ane og P. Kr. Steenstrup i Ejerslev. Som voksen fik Svend en karriere som sømand. Under anden verdenskrig var han matros på et skib, som i 1945 sejlede ud fra Aalborg. Ved Anholt sejlede skibet på et mineanlæg. Skibet gik ned, og alle druknede. Svend Overgaard Steenstrups mindesten står på Ejerslev Kirkegård, og hans navn står skrevet på ankeret ved anlægget i Nykøbing.

Søren Steenstrup var rejst til Amerika, og ingen hørte fra ham. Pludselig en dag, 60 år efter han rejste, kom der brev til pastor R. H. Knudsen i Ejerslev. Brevet var fra Søren Steenstrup, som gerne ville til Danmark for at besøge sin familie. R. H. Knudsen kendte Lydia og K. B. Dybdahl. Lydia og Søren var søskende, og ved fælles hjælp fik de udfærdiget papirerne. Søren kom til Danmark to gange. Han var gift to gange i Amerika, og det resulterede i to sønner – dette til trods for, at han aldrig var blevet skilt i Danmark. I Danmark besøgte Søren Steenstrup også søsteren Karen og Kr. Holbæk Dahlgaard, Jørsbys smed. Nulevende Niels Dahlgaard husker stadig tydeligt besøget.

I årene 1978 til 1992 brugte Morsø Kommune Skarregaard som et beskæftigelsesprojekt, med Henning E. Pedersen som daglig leder. På et tidspunkt var der mere end 30 beskæftigede; mest inden for gartneri og restaurering af de gamle bygninger.

Fra 1993 til 2021 drev Museum Mors Skarregaard som museum og økologisk landbrug.

Fra 2021 er jorden forpagtet ud, og resten af Skarregaard drives som en forening – Skarregaard Natur- og Kulturcenter.